Видео с ютуба Llama.cpp Moe Cache

Внутри llama.cpp: как запускать огромные MoE-модели (новый кэш экспертов)

В llama.cpp добавили Expert Cache... Победит ли он Strata на 12 ГБ?!

llama.cpp Just Got an Expert Cache. Do You Still Need Strata?

llama.cpp PR #29887: GPU Cache for MoE Experts

llama.cpp Just Made 125B MoE Models 4× Faster!

llama.cpp Just Made Huge MoE Models 4× Faster

llama.cpp's New MoE Expert Cache: Up To 2.2x Faster on One GPU

Broken in 12 Days: How a 1993 Idea Fixed llama.cpp MoE Caching

llama.cpp 0.7: 2x Faster Local AI on One GPU

The LRU Cache That Doubled Local MoE Speeds: llama.cpp Expert Offloading

llama.cpp Cut 31 Wasted GPU Passes

This llama.cpp Fork Just Made Qwen 3.3× Faster

Your MoE Model Is 2× Slower Without This llama.cpp Flag

llama.cpp runs MoE models up to 2.2x faster when VRAM runs out

100B+ Models on 12GB GPU: Strata, Maya & llama.cpp MoE

Strata — это не более быстрый llama.cpp: как модель на 125 млрд параметров выдает 90 токенов/с на...

Насколько быстро RTX 3060 на самом деле тянет модель на 35B (улучшение llama.cpp)?

Day-1 TurboQuant in llama.cpp: 6X Smaller KV Cache After Reading the Actual Paper

Запуск ИИ-модели на 22 ГБ на видеокарте с 6 ГБ видеопамяти (llama.cpp)

Run 125B Models on 8GB Ram: llama.cpp Expert Cache